Einheit

name: Title slide
class: middle, left
<br><br><br><br><br><br><br>
# Einführung in die Forschungsmethoden der Psychologie und Psychotherapie

### Einheit 6: Das Experiment: Alternativerklärungen und Kontrollbedingungen
##### 23.11.2023 | Dr. Caroline Zygar-Hoffmann

---
class: top, left
name: content
### Heutige Themen

#### [Ziele von statistischen Analysen und der Versuchsplanung](#ziele)

#### [Kausalität](#kausalitaet)

#### [Störvariablen und deren Kontrolle](#stoervars)

#### [Versuchspläne](#versuchsplaene)

#### [Take-Aways](#take-away)

---
class: top, left
### Literatur für die heutige Sitzung

.center[
<div class="figure" style="text-align: center">
<img src="data:image/png;base64,#bilder/eid.png" alt="Kapitel 4.3. in Eid, M., Gollwitzer, M., &amp; Schmitt M. (2017). Statistik und Forschungsmethoden. Beltz" width="30%" />
<p class="caption">Kapitel 4.3. in Eid, M., Gollwitzer, M., & Schmitt M. (2017). Statistik und Forschungsmethoden. Beltz</p>
</div>
]
---
class: top, left
name: ziele
### Ziele von statistischen Analysen (Auswahl)

**Ausprägungen deskriptiv beschreiben oder statistisch schätzen:**

* Forschungsfragen zur Ausprägung einzelner Variablen (z.B. Häufigkeiten, Mittelwerte)
* Wenn komplette Population erhoben wird (-> Deskriptivstatistik), wenn von Stichprobe auf Population geschlossen wird (-> Parameterschätzung)
* Bsp.: Wie viel % aller Jugendlichen in Deutschland spielen täglich Computerspiele?

**Korrelationsfragestellungen statistisch testen:**

* Zusammenhänge zwischen Merkmalen anhand korrelativer Versuchspläne aufdecken
* Bsp.: Steht die Häufigkeit des Computerspielens bei Jugendlichen in einem positiven Zusammenhang mit ihrer Gewaltbereitschaft?

**Kausalfragestellungen statistisch testen:**
* Ursache‐Wirkungs‐Beziehungen (meist) anhand experimenteller Versuchspläne aufdecken
* Bsp.: Erhöht Computerspielen die Gewaltbereitschaft von Jugendlichen?

---
class: top, left
### Ziel der Versuchsplanung

Das Ziel der Versuchsplanung ist eine empirische Untersuchung zu planen, sodass eine Hypothese valide & ökonomisch überprüft werden kann

* Validität im Kontext der Versuchsplanung: Gültigkeit oder allgemeine Güte der Hypothesenprüfung
* Ökonomie im Kontext der Versuchsplanung: mit möglichst geringem Aufwand

**Leitfrage:**

Wie muss ich eine Untersuchung gestalten, damit sie mir neue Erkenntnisse über die Gültigkeit meiner Hypothese liefern kann?

---
class: top, left
name: kausalitaet
<div class="footer"><span>https://m.xkcd.com/552/</span></div>

### Kausalität

#### Korrelation =/= Kausalität

* Sachverhalt: Zusammenhang zwischen A & B

* Anders ausgedrückt: A wird häufig zusammen mit B beobachtet

.pull-left[
**Mögliche Kausalbeziehungen:**

1. A verursacht B

2. B verursacht A

3. Eine Drittvariable C (bzw. eine Menge von zusammenhängenden Variablen X1, ..., Xn) verursacht A & B

**Folge:** Korrelation impliziert nicht Kausalität
]

.pull-right[
<img src="data:image/png;base64,#bilder/xkcd-correlation.png" width="450px" />
]

---
class: top, left
### Kausalität

#### Interventionistische Auffassung von Kausalität

.center[
*"...to think of a relation between events as causal is to think of it under the aspect of (possible) action. [...] that p is the cause of q [...] means that I could bring about q if I could do (so that) p.*

von Wright, 1971

*The paradigmatic assertion in causal relationships is that manipulation of a cause will result in the manipulation of an effect. [...] Causation implies that by varying one factor I can make another factor vary.*

Cook & Campbell, 1979
]

Methodologische Implikation: **aktive Manipulation** der interessierenden Variablen

---
class: top, left
<div class="footer"><span>https://dorsch.hogrefe.com/stichwort/kausalitaet</span></div>

### Kausalität

#### X verursacht Y (INUS-Bedingungen)

.pull-left[
Ursachen sind sog. INUS‐Bedingungen:
* I = Insufficient, but
* N = Necessary parts of an
* U = Unnecessary, but
* S = Sufficient condition
]

.pull-right[
Bsp.: Waldbrand verursacht durch Streichholz.
* Insufficient: Es braucht auch (z.B.) Sauerstoff
* Necessary: Eine Flammenquelle wird benötigt
* Unnecessary: Feuerzeug geht auch
* Sufficient: Sauerstoff, Streichholz, Trockenheit zusammen hinreichend
]

**Konzeptuelle Implikationen:**
* **Ursachen sind nur als Teil einer Menge von Randbedingungen** (ermöglichenden Bedingungen) **wirksam**
* Theorien können sich auf unterschiedliche Teile der Bedingungsmenge beziehen
* Konkret bedeutet dies trotzdem: Hätte es die Ursache *nicht* gegeben (und alles andere wäre gleich geblieben), wäre es nicht zur Wirkung gekommen

**Methodologische Implikationen:** Manipulation der interessierenden Variablen (= UVs), Konstanthaltung aller anderen Faktoren `$\rightarrow$` Experiment als Idealmodell für die Überprüfung von Kausalhypothesen

---
class: top, left

### Kausalität

#### Experiment - Kernelemente

.pull-left[
1) **Kausalhypothese**
  * Vermutung über den Einfluss einer Variable (UV) auf eine andere Variable (AV)
  * z.B. „Ego*Shooter verursachen erhöhte Gewaltbereitschaft“
  
2) **Manipulation mindestens einer UV**
  * 2 (oder mehr) Bedingungen herstellen, die sich nur bzgl. einer einzigen Variable (UV) unterscheiden
  * z.B. Ego-Shooter spielen vs. Flugsimulation spielen
]

.pull-right[
3) **Randomisierung**
  * jede Person (Untersuchungseinheit) wird per Zufall einer der Bedingungen zugewiesen
  * z.B. per Münzwurf entscheiden, was eine Person spielen muss
  
4) **Beobachtung (Messung) einer AV**
  * Ausprägung der interessierenden AV wird gemessen
  * z.B. das Aggressivitätsniveau der Personen
]

---
class: top, left
### Kausalität

#### Störvariablen und Konfundierung

**Störvariablen (SV)**
* Definition: alle Variablen (außer der UVs), die potentiell Einfluss auf das Ergebnis haben können
* Störvariablen sind besonders problematisch, wenn sie mit UVs assoziiert (konfundiert) sind

**Konfundierung**
* gemeinsame Variation einer vermuteten Ursache (UV) mit (mindestens) einer anderen Variable (Störvariable)
* Störvariable kann als Ursache für den beobachteten Sachverhalt nicht ausgeschlossen werden `$\rightarrow$` UV kann nicht als Ursache interpretiert werden!

---
class: top, left
### Kausalität

#### Störvariablen und Konfundierung

**Ziel der Versuchsplanung (nach Hager, 1987)**

* gemeinsame systematische Variation von möglichen Störfaktoren mit hypothesenrelevanter UV verhindern

* bzw. statistische Assoziation zwischen den potentiellen Störfaktoren & der UV auf den Wert 0 bringen

* in dem Ausmaß, in dem dies für einen der möglichen Störfaktoren gelingt, nennen wir diesen kontrolliert

---
class: top, left
### Kausalität

#### Experiment als Versuch zur Kontrolle von Störvariablen

**Methode: Experiment**
* Vergleich von Bedingungskonstellationen, die sich nur im Hinblick auf das Vorhandensein der
  vermuteten Ursache (UV = unabhängige Variable) unterscheiden `$\rightarrow$` Aktive Manipulation der UV
* Konstanthaltung anderer Faktoren (Kontrolle von Störvariablen)
* Beobachtung, ob der zu erklärende Sachverhalt (AV = abhängige Variable) eintritt oder nicht

**Kausale Interpretation**
* Ergebnis: (k)ein Effekt in der AV (Unterschied zwischen 2 oder mehr Bedingungen)
* Kausale Interpretation: UV ist (k)eine Ursache für den Effekt auf die AV

---
class: top, left
name: stoervars

### Störvariablen und deren Kontrolle

#### Systematische Störvariablen

* kovariieren mit UV (d.h. in verschiedenen Versuchsbedingungen unterschiedlich stark ausgeprägt)

* können fälschlicherweise einen Effekt der UV auf die AV suggerieren

* Bsp: Trainierte: bessere Leistung (AV), aber nicht wegen Training (UV), sondern wegen höherer Motivation (SV)

* können einen tatsächlich vorhandenen Effekt verschleiern

`$\rightarrow$` Beispiel: überwiegend unmotivierte Versuchspersonen in der Trainingsbedingung: positiver Effekt des Trainings (UV) wird durch negativen Effekt der Motivation (SV) verdeckt

**Konsequenz systematischer Störvariablen**

Falsche Schlussfolgerungen hinsichtlich des Effekts der UV auf die AV sind möglich, wenn Störvariable nicht berücksichtigt wird.

---
class: top, left
### Störvariablen und deren Kontrolle

#### Unsystematische Störvariablen

* kovariieren nicht mit der UV (d.h. in allen Versuchsbedingungen ungefähr gleich stark ausgeprägt)

* können systematische Effekte der UV durch hohe Fehlervarianz überdecken

* können das Auftreten von Effekten nicht erklären

* gibt es in jeder Untersuchung; vergrößern die Varianz in der AV/der Messung (Fehlervarianz; „Rauschen“; geringe Reliabilität der Messung)

`$\rightarrow$` Beispiel: in beiden Experimental-Bedingungen gibt es interindividuelle Unterschiede in der Sorgfalt der Beantwortung des Fragebogens mit dem die AV gemessen wird

**Konsequenz unsystematischer Störvariablen:**

Wenn kein Effekt beobachtet wird, kann dies an der erhöhten Fehlervarianz liegen.

Wenn ein Effekt beobachtet wird, kann die unsystematische SV nicht dafür verantwortlich sein.

---
class: top, left
### Störvariablen und deren Kontrolle

#### Interne und Statistische Validität

**2 Ziele in der Versuchsplanung:**

**1. Kontrolle systematischer Störvariablen**
  
* die gemeinsame systematische Variation von möglichen Störfaktoren mit der hypothesenrelevanten UV zu verhindern 
* die statistische Assoziation zwischen den potentiellen Störfaktoren und der UV auf den Wert Null zu bringen
  
  `$\rightarrow$` erhöht sogenannte "interne Validität"

**2. Reduktion unsystematischer/zufälliger Störvariablen**
  
* Reduktion der Fehlervarianz erhöht den Anteil der Effektvarianz an der Gesamtvarianz
    
  `$\rightarrow$` erhöht sogenannte "statistische Validität"

---
class: top, left
### Störvariablen und deren Kontrolle

#### Quellen von Störvariablen

* **Teilnehmer:innen**:
  * Geschlecht, Intelligenz, Einkommen, Ängstlichkeit, Sucht, Haustier,...,
  * alle Eigenschaften mit potentiellem (direktem oder indirektem) Einfluss auf die AV
* **Versuchsleiter:innen**:
  * Geschlecht, Alter, Autorität, Status, Attraktivität, Strenge,...
  * Erwartungen bzgl. der Untersuchungsergebnisse...
* **Situation**:
  * Lärm, Beleuchtung, Tageszeit, Jahreszeit, Konjunktur, Publikum
  * Messinstrument, Reaktivität der Messung, demand characteristics (Aufforderungscharakter der Situation)
* **Reihenfolge/Messwiederholung**
  * Positionseffekte
  * Übungs‐, Erinnerungs‐, Ermüdungseffekte
  * Sensibilisierungseffekte

---
class: top, left
### Störvariablen und deren Kontrolle

#### Kontrolltechniken

<table class="table lightable-classic" style='font-size: 18px; margin-left: auto; margin-right: auto; font-family: "Arial Narrow", "Source Sans Pro", sans-serif; margin-left: auto; margin-right: auto;'>
 <thead>
  <tr>
   <th style="text-align:left;"> Quelle </th>
   <th style="text-align:left;"> Technik </th>
   <th style="text-align:left;"> Systematische Fehler </th>
   <th style="text-align:left;"> Unsystematische Fehler </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:left;"> Teilnehmer:innen </td>
   <td style="text-align:left;"> Randomisierung </td>
   <td style="text-align:left;"> ++ </td>
   <td style="text-align:left;">  </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:left;"> Parallelisierung </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;">  </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Versuchsleiter:innen </td>
   <td style="text-align:left;"> Standardisierung </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;"> + </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:left;"> Versuchleiter-Training </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;"> + </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:left;"> Automatisierung </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;"> + </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:left;"> Verblindung </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;">  </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Situation </td>
   <td style="text-align:left;"> Konstanthaltung </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;"> + </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:left;"> Elimination </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;"> + </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:left;"> Kontrollfaktoren </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;">  </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:left;"> Täuschung </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;">  </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Messwiederholung </td>
   <td style="text-align:left;"> Ausbalancieren </td>
   <td style="text-align:left;"> + </td>
   <td style="text-align:left;">  </td>
  </tr>
</tbody>
</table>

---
class: top, left
### Störvariablen und deren Kontrolle

#### Randomisierung

**Definition:**
* zufällige Zuweisung der Untersuchungseinheiten zu Bedingungen
* Technik zur Kontrolle in der Person liegender, unveränderlicher Störvariablen
* vorhandene Störvariablen werden nach Zufall (gleichmäßig) auf die Gruppen verteilt

**Ergebnis der Randomisierung:**
* Störvariablen sind nicht mit Bedingungszugehörigkeit konfundiert (bis auf Zufallsschwankungen)
* Definition Experiment: Wenn bzgl. einer UV randomisiert wird, dann ist Untersuchung bzgl. dieser UV ein Experiment
* Interne Validität kann durch externe Faktoren möglicherweise bedroht sein `$\rightarrow$` Randomisierung führt zu gleicher Wahrscheinlichkeit externer Störeinflüsse in beiden Gruppen

* Es gibt verschiedene Varianten der Randomisierung (vom einfachen "Münzwurf", über "Block-Randomisierung" zu Erreichung gleicher Gruppengrößen bis zu "stratifizierter Randomisierung" zu Erreichung einer möglichst großen Ähnlichkeit der Bedingungen hinsichtlich einer Drittvariable)

---
class: top, left
### Störvariablen und deren Kontrolle

#### Randomisierung

##### Randomisierung `$\neq$` Zufallsstichprobe

**Zufallsstichprobe: **
* zufällige Auswahl aus der Population
* Jeder hat die gleiche Chance, ausgewählt zu werden
* erhöht Ähnlichkeit von Stichprobe und Population
* führt zu sogenannter "externer Validität"

**Randomisierung: **
* zufällige Zuweisung bereits ausgewählter Probanden zu Bedingungen/Gruppen
* Jeder hat die gleiche Chance, in jede Bedingung zu gelangen
* erhöht Ähnlichkeit der verglichenen Bedingungen/Gruppen
* führt zu interner Validität

---
class: top, left
### Störvariablen und deren Kontrolle

#### Parallelisierung bzw. Matching

* Vergleichbarkeit der Gruppen bzgl. einer bekannten Störvariable herstellen
* Bei kleinen Stichproben zuverlässiger als Randomisierung – aber nur bzgl. einer SV!

**Umsetzung:**
* SV bei allen Teilnehmern des Experiments erfassen
* Rangreihe bzgl. der SV bilden
* jeweils benachbarte Rangplätze werden per Zufall auf die Bedingungen aufgeteilt

**Voraussetzungen:**
* reliable & valide Messbarkeit der zu kontrollierenden SV
* Verfügbarkeit der gesamten Stichprobe zur Erfassung der SV vor der eigentlichen Untersuchung
* theoretische und/oder empirische Begründung der Bedeutsamkeit der SV

---
class: top, left
### Störvariablen und deren Kontrolle

#### Standardisierung, Versuchsleiter-Training, Automatisierung

**Versuchsablauf standardisieren: **
* Präzises und detailliertes Ablaufprotokoll festlegen
* Systematische & unsystematische Störeinflüsse reduzieren, die durch Unterschiede im Ablauf
entstehen können (z.B. unterschiedliche Erläuterungen/Instruktionen des Versuchsleiters)

**Versuchsleiter trainieren: **
* Einüben des Ablaufs (idealerweise anhand eines Ablaufprotokolls)
* Systematische & unsystematische Störeinflüsse reduzieren, die durch fehlerhafte Durchführung des Versuchs entstehen können

**Versuchsablauf automatisieren: **
* Ersetzen des Versuchsleiters durch z.B. Computer

---
class: top, left
### Störvariablen und deren Kontrolle

#### Verblindung

* Verblindung: Information über Versuchsbedingung vorenthalten

* Verhindert systematische Effekte dieser Information (z.B. über Erwartungen der Versuchsperson oder des Versuchsleiters)

**3 Varianten:**

* Einfache Verblindung: Versuchsperson hat keine Kenntnis über die Versuchsbedingung, der sie zugeordnet ist

* Doppelte Verblindung: Versuchsperson & Versuchsleiter haben keine Kenntnis über Versuchsbedingung

* Dreifache Verblindung: Versuchsperson, Versuchsleiter & Auswerter haben keine Kenntnis über Versuchsbedingung

---
class: top, left
### Störvariablen und deren Kontrolle

#### Konstanthaltung

* Ausprägung der Störvariable in allen Bedingungen gleichhalten

* Verhindert systematische & unsystematische Störeinflüsse

* z.B. Kontext: alle Versuchsbedingungen in gleicher Umgebung durchführen

* z.B. Temperatur: identisch klimatisierte Laborräume

* z.B. Instruktion: identische Wortwahl in allen Versuchsbedingungen

---
class: top, left
### Störvariablen und deren Kontrolle

#### Elimination

* Einfluss der Störvariablen komplett verhindern

* Verhindert systematische & unsystematische Störeinflüsse

* z.B. Lärm: Schallisolierung
  
  * z.B. Licht: Fenster abdunkeln
  
  * z.B. Anwesenheit anderer Personen: individuelle Datenerhebung
  
  * z.B. Versuchsleiter: Automatisierung

---
class: top, left
### Störvariablen und deren Kontrolle

#### Kontrollfaktoren

* Einbeziehen der Störvariable in das Untersuchungsdesign als Kontrollfaktor
* Effekte der UV & der SV können analysiert werden
  * z.B. UV Frustration: 2 Stufen (frustriert, nicht frustriert)
  * z.B. SV Tageszeit als Kontrollfaktor: 2 Stufen (vor vs. nach Mittagessen)
  
* Untersuchung mit 4 Gruppen:
  1. frustriert & vor dem Mittagessen
  2. nicht frustriert & vor dem Mittagessen
  3. frustriert & nach dem Mittagessen
  4. nicht frustriert & nach dem Mittagessen
  
* Unterschied 1 vs. 2 `$\rightarrow$` Frustration
* Unterschied 1 vs. 3 `$\rightarrow$` Tageszeit

---
class: top, left
### Störvariablen und deren Kontrolle

#### Täuschung

* Fehlinformation über einzelne Aspekte des Versuchs
* Verhindert systematische Effekte einzelner Aspekte der Situation

* z.B. UV: Geschlecht des Versuchsleiters, Täuschung: UV verschweigen; „wir messen Kreativität“ `$\rightarrow$` lenkt von UV ab
* z.B. AV: Leistungstest, Täuschung: „Pilotversuch, Daten werden nicht gespeichert“ `$\rightarrow$` reduziert Einfluss der Prüfungsängstlichkeit

* besonders hilfreich bei demand characteristics: Aspekte der Situation, die 
(a) die wahren Hypothesen der Untersuchung verraten oder 
(b) falsche Hypothesen nahelegen
* Versuchspersonen wollen Versuchsleitern „einen Gefallen tun“, indem sie der (wahren/vermuteten) Hypothese entsprechend
reagieren `$\rightarrow$` AV nicht valide, evtl. systematisch verfälscht

* Problem: Frage der ethischen Vertretbarkeit von Täuschung

---
class: top, left
### Störvariablen und deren Kontrolle

#### Ausbalancieren

* Reihenfolgeeffekte kontrollieren: alle möglichen Reihenfolgen realisieren; auf Effekte der Reihenfolge prüfen

* Vermeiden von Positions- & Sequenzeffekten bei Messwiederholung (Lernen, Ermüdung, Carry-Over-Effekte)

* Beispiel: Effekte von Lärm (UV) auf kognitive Leistungen (AV: Konzentrationstest)
  * Versuchsablauf A: (1) Test mit Lärm; (2) Test ohne Lärm
  * Ergebnis: Leistung (2) > Leistung (1) `$\rightarrow$` Interpretation? Lerneffekt?
  
  `$\rightarrow$` Ausbalancieren: zusätzlicher Versuchsablauf 
  * Versuchsablauf B: (1) Test ohne Lärm; (2) Test mit Lärm
  
Nachteil: 
* Aufwand

* Bei k Versuchsbedingungen sind k! Reihenfolgen notwendig (2! = 2; 3! = 6; 4! = 24; ...; 10! = 3.628.800)

---
class: top, left
name: versuchsplaene

### Versuchspläne

#### Notation von Versuchsplänen

* O (Observation): Beobachtung, Messung einer oder mehrerer Maße; durchnummeriert bei mehrfachen Messungen (z.B. Messzeitpunkte, Gruppen)

* X (Treatment, Intervention): kontrollierte Manipulation der UV

* R (Randomisierung): zufällige Zuweisung der Untersuchungseinheiten zu Bedingungen (vor Untersuchung)

* Zeitverlauf von links nach rechts

* verschiedene Gruppen sind zeilenweise untereinander notiert, z.B. oben EG & unten KG

---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

„nur“ systematische Beobachtung einer/mehrerer Variablen
* keine Manipulation
* keine randomisierte Zuweisung zu Bedingungen

**Typische Versuchspläne:**

* One-shot-design
* Korrelationsstudien
* Einfache Gruppenvergleiche
* Prä-Post-Vergleich

`$\rightarrow$` z.B. deskriptive Untersuchungen, Umfrageforschung (univariat); Korrelationsforschung (bi* oder multivariat)
* Interpretationsmöglichkeiten: Prüfung von Kausalhypothesen nicht (oder nur unter speziellen Annahmen) möglich!
---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

##### One-shot Design

.center[
<img src="data:image/png;base64,#bilder/oneshot.png" width="1000px" />
]

---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

##### One-shot Design

* Beobachtung einer AV an einer Stichprobe (mit/ohne Intervention)
* „nur“ systematische Beobachtung einer Variablen; d.h. rein deskriptive Erhebung oder Schätzung des Ist-Zustands
* nur 1 Variable (keine Unterscheidung UV/AV, keine Manipulation)
* nur 1 Gruppe (keine Kontrollgruppe, keine Randomisierung)
* z.B. Umfrageforschung, Studienreform (X) & Messung Studierendenzufriedenheit (O); Spendenkampagne (X) & Messung
Spendenaufkommen (O)

**Interpretationsmöglichkeiten:**
* beschreibende Aussagen über Häufigkeiten oder Merkmalsverteilungen zum Zeitpunkt der Messung
* Effekt des Treatments nicht quantifizierbar (kein Vergleichswert)
* Zusammenhang X & O kann nicht untersucht werden

---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

##### Korrelationsstudien

<small>

* Beobachtung von 2 Variablen in einer Stichprobe
* keine Kontrollgruppe, keine Randomisierung, keine Trennung von UV‐AV, Simultane Erhebung der Variablen, keine Manipulation (z.B. Geschäftserfolg & Extraversion)

Bei theoretischer Trennung von UV‐AV:
* Simultane Erhebung der Variablen; keine Manipulation
* aber: theoretisch angenommene Kausalrichtung (z.B. je extrovertierter, desto erfolgreicher)

Bei „UV‐AV‐Sequenz“ (Ex‐post‐facto‐Studien):
* Simultane Erhebung der Variablen; keine Manipulation
* Kausalitätsheuristik: Erhebung zeitlich zurückliegender „UV“ (AV folgt UV)

**Interpretationsmöglichkeiten:**
* Aussagen über Zusammenhang möglich
* Aussagen über Kausalität nicht (oder nur unter speziellen Annahmen) möglich

</small>

---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

##### Einfacher Gruppenvergleich

.center[
<img src="data:image/png;base64,#bilder/einfachgruppe.png" width="1000px" />
]

---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

##### Einfacher Gruppenvergleich

* Beobachtung einer AV in 2 (durch kategoriale UV definierten) Gruppen

* keine Manipulation, keine Randomisierung, UV‐AV‐Sequenz

* z.B. UV Geschlecht, AV Aggression; Ergebnis: Geschlechtsunterschied

**Problem:**

Was ist für den Unterschied verantwortlich?

**Interpretationsmöglichkeiten:**
* Aussagen über Zusammenhang Gruppe (UV) & AV
* Aussagen über Kausalität nicht (oder nur unter speziellen Annahmen) möglich

---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

##### Prä-Post-Vergleich („vorexperimentelle Anordnung“)

.center[
<img src="data:image/png;base64,#bilder/prepost.png" width="1000px" />
]

---
class: top, left
### Versuchspläne

#### Nicht-Experimentelle Versuchspläne

##### Prä-Post-Vergleich („vorexperimentelle Anordnung“)

* Beobachtung einer AV in einer Stichprobe vor und nach einer Intervention
* keine Kontrollgruppe, keine zufällige Zuordnung
* z.B. Studierendenbefragung vor und nach einer Studienreform

**Probleme: **
* alle personengebundenen & zeitgebundenen Störvariablen

**Interpretationsmöglichkeiten:**
* Aussagen über Zusammenhang Intervention & AV
* Aussagen über Kausalität nicht (oder nur unter speziellen Annahmen) möglich

---
class: top, left
### Versuchspläne

#### Quasi-experimentelle Versuchspläne

**Charakteristika:**

* Trennung UV/AV
* systematische Beobachtung der AV
* gezielte Manipulation der UV
* keine randomisierte Zuweisung der Versuchspersonen zu den Bedingungen, stattdessen "natürlich vorgefundene Gruppen"

**Interpretationsmöglichkeiten:**
* Aussagen über Zusammenhang UV und AV
* Aussagen über Kausalität nur eingeschränkt möglich
* nur verwenden, wenn Experiment nicht durchführbar

---
class: top, left
### Versuchspläne

#### Quasi-experimentelle Versuchspläne

##### Problem von Quasi-Experimenten:

**Experiment: **

* alle möglichen/denkbaren **systematischen personenbezogenen** Störvariablen sind durch Randomisierung kontrolliert

* UV ist Ursache

**Quasi‐Experiment: **

* alle möglichen/denkbaren **systematischen personenbezogenen** Störvariablen können systematisch mit Bedingung (d.h. mit UV) konfundiert sein

* UV und SV als mögliche Ursache

---
class: top, left
### Versuchspläne

#### Quasi-experimentelle Versuchspläne

##### Nicht-äquivalenter Kontrollgruppenplan

.center[
<img src="data:image/png;base64,#bilder/naekontroll.png" width="1000px" />
]

---
class: top, left
### Versuchspläne

#### Quasi-experimentelle Versuchspläne

##### Nicht-äquivalenter Kontrollgruppenplan

* Vorher‐Nachher‐Messung in 2 Bedingungen (mit Intervention)
* Trennung & Sequenz UV‐AV, Kontrollgruppe, Manipulation
* keine zufällige Zuordnung
  * Vortest notwendig zur Korrektur der Vorher‐Unterschiede
  * weit verbreiteter Versuchsplan, wenn Randomisierung nicht möglich

**Interpretationsmöglichkeiten**
* Aussagen über Zusammenhang UV & AV
* Aussagen über Kausalität eingeschränkt möglich
* Zentrales Problem bei Veränderungsmessung (Vorher‐Nachher‐Messung): Unterschiede im Ausgangsniveau

`$\rightarrow$` Veränderungen im Bezug zum Ausgangsniveau beurteilen, z.B. Größe der Veränderung an Ausgangsniveau relativieren: prozentuale Veränderung statt Differenz

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

.pull-left[
**Charakteristika:**
* Trennung & Sequenz UV-AV
* systematische Beobachtung der AV
* gezielte Manipulation der UVs
* randomisierte Zuweisung zu den Bedingungen

**Interpretationsmöglichkeiten:**
* Aussagen über Zusammenhang UV & AV
* Aussagen über Kausalität, sofern alle Störvariablen kontrolliert wurden
]

.pull-right[
**Typische Versuchspläne:**
* Labor vs. Feldexperiment
* Randomisierter Kontrollgruppenplan mit/ohne Vortest
* 1 oder 2 Treatments & eine Kontrollgruppe
  - z.B. 1 oder 2 inhaltliche Varianten des neuen Treatments vs. KG
  - z.B. unterschiedlich starke Ausprägungen des Treatments vs. KG
* 2 Treatments, keine Kontrollgruppe
  - z.B. neues Treatment im Vergleich zu Standardtreatment, das gut gegen KG abgesichert ist
  - z.B. Vergleich unterschiedlicher Ausprägungen des Treatments

]

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

##### Labor- & Feldexperiment

* Bsp: Steigt die Hilfsbereitschaft unter positiver Stimmung?

**Laborexperiment:**
* Beobachtung einer AV bei randomisierter Zuweisung zu Bedingungen der UV in „künstlicher“ Umgebung
* Sind Probanden eher bereit, noch einen zweiten FB auszufüllen, wenn man ihnen zuvor fröhliche Musik
vorgespielt hat?
* Umgebung kontrollierbar `$\rightarrow$` höhere interne Validität

**Feldexperiment:**
* Beobachtung einer AV bei randomisierter Zuweisung zu Bedingungen der UV in der „natürlichen“ Umgebung
* Sind Leute eher bereit, jemanden am Kopierer vorzulassen, wenn sie zuvor dort 2 Euro gefunden haben?
* Umgebung „natürlicher“ `$\rightarrow$` u.U. höhere externe Validität

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

##### Arten von Kontrollgruppen

* keine Behandlung

* Placebo-Behandlung

* etablierte Standard-Behandlung (Treatment as usual, TAU)

* Wartelistenplatz: Behandlung erfolgt nach der Studie

`$\rightarrow$` je nach Fragestellung andere Typen von Kontrollgruppen sinnvoll

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

##### Kontrollgruppenplan ohne Vortest

.center[
<img src="data:image/png;base64,#bilder/nopretest.png" width="1000px" />
]

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

##### Kontrollgruppenplan ohne Vortest

* Beobachtung der AV nach Randomisierung & Manipulation der UV
* Trennung und Sequenz UV-AV
* gezielte Manipulation der UV
* randomisierte Zuweisung zu den Bedingungen
* z.B. Wirksamkeit des Marathon-Trainings nach zufälliger Zuweisung

**Interpretationsmöglichkeiten**
* Aussagen über Zusammenhang UV und AV
* Aussagen über Kausalität, sofern alle Störvariablen kontrolliert wurden

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

##### Kontrollgruppenplan mit Vortest

.center[
<img src="data:image/png;base64,#bilder/withpretest.png" width="1000px" />
]

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

##### Kontrollgruppenplan mit Vortest

* Beobachtung der AV vor und nach Manipulation der UV
* vorher bestehende Unterschiede zwischen den Gruppen prüfbar
* reduziert Fehlervarianz (erhöht statistische Validität)

**Problem: **
* Sensitivierung und Übungseffekte durch Vortest
* potentielle Gefährdung interne bzw. Konstruktvalidität, abhängig von Messmethode `$\rightarrow$` Kontrolle des Vortest-Effekts wünschenswert

**Interpretationsmöglichkeiten:**
* Aussagen über Zusammenhang UV und AV
* Aussagen über Kausalität, sofern alle Störvariablen kontrolliert wurden

---
class: top, left
### Versuchspläne

#### Experimentelle Versuchspläne

##### Das randomisiert-kontrollierte Trial (RCT)

Standardparadigma der klinischen Wirksamkeitsforschung: Kontrollgruppenplan (meist mit Vortest)

.center[
<img src="data:image/png;base64,#bilder/RCT.png" width="800px" />
]

---
class: top, left
### Versuchspläne

.center[
<img src="data:image/png;base64,#bilder/Behandlungsplaene.png" width="75%" />

Nicht abgebildet: Korrelationsstudien
]
---
class: top, left
### Versuchspläne

#### Ausblick: Mehrfaktorielle Versuchspläne

Faktorielles Design: Alle möglichen Kombinationen der Faktoren (=Gruppenausprägungen) sind realisiert

Beispiel: Pharmakologische Behandlung einer Depression
* UV A: Medikament (A1: Verum vs. A2: Placebo)
* UV B: Dosis (B1: niedrig vs. B2: hoch)

2x2-Design: 4 Versuchsbedingungen als Kombination von A und B:
  * A1-B1: Verum, niedrig
  * A1-B2: Verum, hoch
  * A2-B1: Placebo, niedrig
  * A2-B2: Placebo, hoch

Vorteile:
* Effizienter als eine Durchführung jeweils einzelner Experimente für jeden der Faktoren
* Untersuchung von Interaktionseffekten möglich

---
class: top, left
name: take-away

### Take-Aways
.content-box-gray[
* Experiment gilt als Königsweg zur Kausalität

* Systematische und unsystematische Konfundierungen nach Möglichkeit durch Studiendesign verhindern

* Randomisierung ist ein effizienter Weg, systematische Konfundierungen aus dem Unterschied zwischen experimentellen Bedingungen herauszuhalten

* Durch Verblindung lassen sich Konfundierungen verursacht durch Versuchsteilnehmer und -leiter verringern

* Problem Quasi-Experiment: keine Randomisierung, nur gezielte Manipulation der UV

* Nich-experimentelle Versuchspläne ermöglichen Schlüsse über Zusammenhänge, Kausalitätsschlüsse nicht (oder nur unter speziellen Annahmen) möglich

* Klassischer Experimentaufbau: Kontrollgruppenplan (mit/ohne Pretest) mit randomisierter Gruppenzuweisung
]

**[zurück zur heutigen Übersicht der Vorlesung `$\rightarrow$`](#content)** 
<br>
**[zum Quiz zur Wissensprüfung `$\rightarrow$`](https://forms.gle/DevnXsaZFD49Wr6TA)**